本文提出了一种新的模型架构，具有抑制MLP（GIMLP）的门。对CyClemlp（Gi-Cyclemlp）抑制的大门可以在Imagenet分类任务上产生同等的性能，并且还可以改善BERT，ROBERTA和DEBERTAV3型号关于两种新颖的技术。第一个是门控MLP，其中MLP和Trunk注意力输入之间的矩阵乘法在进一步调整模型的适应性中。第二个是抑制作用，它抑制或增强分支调节，并且随着抑制水平的增加，它提供了更大的肌肉特征限制。我们表明，就成像网分类的精度而言，抑制水平较低的GicyClemLP可能与原始CYCLEMLP具有竞争力。此外，我们还通过一项全面的实证研究表明，这些技术显着改善了微调NLU下游任务的性能。至于在Deberta（Gideberta）微调上具有抑制MLP的大门，我们发现它可以在NLU任务的大多数部分上取得吸引力的结果，而无需再进行任何额外的预处理。我们还发现，通过抑制栅极的使用，激活函数应具有短而光滑的负尾巴，而无关紧要的特征或受伤模型的特征可以适度抑制。对图像分类和增强自然语言微调的能力而没有任何额外预读的实验，对Imagenet和十二个语言的实验表明了GATE具有抑制作用的有效性。
translated by 谷歌翻译